Сегодня я помержил в ClickHouse 30 
пул-реквестов, а он все еще не 
тормозит: автотесты 
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Что за ClickHouse? |||: 


Колоночная СУБД для 
аналитики 

SQL 

Отчёты по сырым большим 
данным в реальном времени^2 
Базовая технология Яндекс. 
Метрики 

Не тормозит 


Скачайте слайды 


[m]: 


[я] 


Ця] 
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[Почему не тормозит? 


. Эффективное хранение данных 
о Колонки 
о Сжатие 

. Эффективная обработка 
о Многопоточная, распределенная, 


специализированные векторные 
алгоритмы 


. Много бенчмарков 
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Бенчмарки 


„ Микробенчмарки для конкретного 


алгоритма 
о Оптимизация агрегатной функции в 
ClickHouse 
е end-to-end 


o На синтетических данных 
о На реальных данных 


. Бенчмарки оборудования 
о На моем телефоне 
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Непрерывное автоматическое 
тестирование 


ө Для каждого РК 

e Для каждого коммита B мастер/релизную ветку 
Изменения за апрель (интерактив здесь): 

[ authors—TrT—-prs- 

| 44 | 401 | 
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и и са 
| 215 | 2640 | 
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ClickHouse performance comparison 


Tested Commits ^ 


Old 


commit dd31634ba44168104d9e23b218148a2dad01b41e (origin/master) 


Merge: fa5cea7a0 7b085abdb 
Author: alexey-milovidov 
Date: Fri Apr 30 13:15:52 2021 +0300 


Merge pull request #23746 from oxidecomputer/master 


Adds support for building on Solaris-derived systems 


New 


commit 7467c5e3cf8ee702e75e80942ac9eba4402df69a 
Author: Maksim Kita 
Date: Fri Apr 30 13:56:56 2021 «0300 


Function default implementation for nulls small optimization 


Real tested commit is: 

commit 18d36794d808a368a8621d9c22bc7715b82d6aela5 (HEAD -> master, pr) 
Merge: dd31634ba 7467c5e3c 

Author: Maksim Kita 

Date: Fri Apr 30 14:01:14 2021 +0300 


Merge 7467c5e3cf8ee702e75e80942ac9eba4402df69a into dd31634ba44168104d9e23b218148a2dad01b41e 


? 
Changes in Performance ‹ 
Old, s New, s Ratio of Relative р<0.01 Test # Query 
speedup (-) difference threshold 
or (new - old) 
slowdown (*) Гоа 
0.317 0.140 0.558 logical functions medium 18 SELECT count() FROM test logical functions. 4 1 Nullable Ulnt8 WHERE NOT ignore(xor(x1,x2,x3,x4)) 
0.163 0.075 0.538 logical functions small 9 SELECT count() FROM (SELECT toNullable(materialize(1)) AS x1, toNullable(materialize(1)) AS x2 FROM : 


0.262 0.193 


0.264 logical functions medium 19 SELECT count() FROM test logical functions. 4 1 Nullable Mixed WHERE NOT ignore(xor(x1,x2,x3,x4)) 


Что мерить 


Время выполнения запроса 
Несколько раз 

Среднее не видит странностей 
min/max неустойчивы к выбросам 
Мерим медиану 
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С чем сравнивать 


e Модельное распределение 
e Исторические данные 

о Разное железо 

о Разное окружение 


e Предыдущая версия сервера, запущенная на том же 
сервере 
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Как сравнивать 


Box, Hunter, Hunter, "Statistics 
for experimenters", p. 78: "A 
Randomized Design Used in the 
Comparison of Standard and 
Modified Fertilizer Mixtures for 
Tomato Plants." 


Statistics for 
Experimenters 


Randomization distribution 


e Что даёт? 
о Разницу, которую можно увидеть, даже сравнивая сервер 
сам с собой (“5”). 
о р<0.01 <==> 99 перцентиль. 
о 2000 * 1% = 20 false positive на прогон. 
о Для любой метрики (напр., потребление памяти) 
e Как интерпретировать 
О < 5% — неинтересно 
О < $ — статистически незначимо 
О > $ — производительность изменилась 
$ > 5% — плохой запрос (низкая точность) 


о O O 0 
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Изменения производительности 


e Поменяли код в этом месте 
e Статистический ложноположительный результат 
ө Поменялась сборка 
о граничные эффекты в компиляторе 
о разное расположение функций в бинарнике 
m BOLT, Propeller 
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Встроенный профайлер 
Set query profiler real time period ns = 10000000; 


clickhouse-client -q "SELECT 
arrayStringConcat( 


arrayMap( 
x => concat(splitByChar('/', addressToLine(x))[-1], 
'#', demangle (addressToSymbol(x))), 
trace), 
';') AS stack, 


count(*) AS samples 
FROM evstem.Ltrace log 
WHERE trace type = "Beal' 

AND query 1d = "4aaco305-b2TEf-4dab5a-91c3-61c0ctf52ec2a' 
GROUP BY trace" \ 

| flamegraph.pl 


Встроенный профайлер 


Flame Graph 


Reset Zoom 


CE 

c.. clickhouse£ DB: :(anonymous namespace): :convertAnyColumnToBool(DB: :IColumn const*, DB::PODArray«char8 t, 4096ul, Allocator«false, false», 15ul,.. click.. rm 
::FunctionsLogicalDetail: : FunctionAnyArityLogical « DB: :FunctionsLogicalDetail: :XorImpl, DB::NameXor»::executeImpl(std::  1::vector«DB::Colu.. cl.. 

Сї. 


clickhouse DB 

clickhouse£ DB: :DefaultExecutable::execute(std::  1::vector«DB::ColumnWithTypeAndName, std::  1::allocator«DB::ColumnWithTypeAndName» > const&, std:.. 

clickhouse£ DB: :ExecutableFunctionAdaptor: :executeWithoutLowCardinalityColumns(std::  1::vector«DB::ColumnWithTypeAndName, std::  1::allocator«DB::Co.. 

clickhousest DB: :ExecutableFunctionAdaptor: :defaultImplementationForNulls(std::  1::vector«DB::ColumnWithTypeAndName, std::  1::allocator«DB::ColumnWithTypeAndName» >.. 

clickhousez DB: :ExecutableFunctionAdaptor: :executeWithoutLowCardinalityColumns(std::  1::vector«DB::ColumnWithTypeAndName, std::  1::allocator«DB::ColumnWithTypeAnd.. 

clickhouse£ DB: :ExecutableFunctionAdaptor::execute(std::  1::vector«DB::ColumnWithTypeAndName, std::  1::allocator«DB::ColumnWithTypeAndName» > const&, std::  1::sha.. 
:ExpressionActions: :execute(DB: :Block&, unsigned long&, bool) const 


clickhouse£ DB: 
clickhouse£ DB: :FilterTransform: :transform(DB::Chunk&) 


clickhouse£ DB: :ISimpleTransform::transform(DB: :Chunk&, DB::Chunk&) 
. function:: default alloc func«DB::PipelineExecutor: :addJob(DB::ExecutingGraph::Node*)::$ .. 


clickhouse£ DB: :ISimpleTransform: :work() 
clickhouse£void std::  1:: function:: policy invoker«void ()>:: call impl«std:: 1 


clickhousest DB: :PipelineExecutor: :executeStepImpl(unsigned long, unsigned long, std::  1::atomic«bool» *) 


clickhouses DB: :PipelineExecutor: :executeImpl(unsigned long) 
clickhouses DB: :PipelineExecutor::execute(unsigned long) 
clickhousezvoid std::  1:: function:: policy invoker«void ()»:: call impl«std::  1:: function:: default alloc func«ThreadFromGlobalPool: :ThreadFromGlobalPool «DB: :PullingAsyncP.. 
11 list iterator«std::  1::thread, void*») 
11 thread struct» >, void ThreadPoolImp.. 


clickhouses* ThreadPoolImpl«std::  1::thread»::worker(std:: 1 
clickhousezvoid* std:: 1:: thread proxy«std:: 1::tuple«std::  1::ипідие ptr«std:: 1:: thread struct, std::  1::default delete«std::  1:: 
libpthread-2.27.soz start thread 
clone.S (filtered by script) 
all 
QI: 


[m 
cl.. 


Аппаратные метрики процессора 


e man perf-stat(1) / perf event open(2) 
€ set metrics perf events enabled = 1 


logical functions medium, query no. 19: plot of PerfBranchlInstructions per client time to client time 
8x108 


7x108 | 


6x108 | 


r_client_time 


5x108 | 
4x108 | 
3x108 | 


2x108 | 


PerfBranchinstructions_pe 


1x108 | 


0.18 0.19 0.2 0.21 0.22 0.23 0.24 0.25 0.26 0.27 


client_time, s HL HighLoad+ 
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Что еще может пойти не так? 


“Все зелёные тесты похожи друг на друга, каждый красный тест красен по-своему.” 
— А. Эйнштейн 


e Тест неправильно написан e Изменилась производительность 
о Ошибка в описании теста о Из-за наших изменений в коде 
о Ошибка в запросе (единственный true positive) 
o Слишком медленный о Статистический false positive 
о Слишком быстрый о Поменялась сборка 


e Ошибка среды 
o Кончилась память/место 
о ClickHouse упал/не 
запустился 


а граничные эффекты в 
компиляторе 
а разное расположение 


функций в бинарнике (BOLT, 


Ргоре!ег) 
Нестабильное время выполнения 
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Нестабильные запросы 


e Неправильно написан запрос 
о Слишком короткий, мерит шум 
о system stop merges / optimize table 
final 
o Таблица Buffer He того размера 
e Неправильно написан код 
e Внешние факторы 
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Нестабильные запросы (NUMA) 


$ numactl --hardware 
available: nodes (0-1) 
node 0 cpus: 0 ... 41 
node 0 size: 257844 MB 
node 0 free: 99115 MB 
node 1 cpus: 14 ... 55 
node 1 size: 258043 MB 
node 1 free: 88101 MB 
node distances: 
node 0 

Ds 10: 21 

їз 21 10 


Intel(R) Xeon(R) CPU E5-2660 v4 @ 2.00GHz 


$ numactl --cpunodebind-0 
--membind-0 


400 -> 100 нестабильных запросов. 
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Нестабильные запросы (ITLB) 


e Копирование бинарника в huge pages (https://youtu.be/icfecl1r 298?t-21587) 
The "worst" code l've ever written. — A. Milovidov 
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[Потребительские свойства 


Чего хочется от тестов: 


Заканчиваться в обозримое время 
o Зчдля ПР 
Минимум false positives 
o игнор «596 
о статистическая значимость 
о ожидаем до трёх false positive => 
можно их игнорировать 
o нестабильные тесты размечены 
вручную 
Результат можно интерпретировать 
о Инструменты интроспекции 
о Подробная инструкция 
Избежать вырождения в систему 
демонстрации зеленой галки 


Как... 

Пользователь автотестов производительности 
Я хочу... 

Видеть зелёную галку 
Чтобы... 

Спокойно помержить свой пулреквест 


— тесты производительности по версии 
@ShitUserStory 
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С чем еще можно сравнивать 


e Среднее геометрическое изменений по всем тестам 


о Больше 1% — что-то действительно поменялось 
ө Старые релизы 


о 20.8 -> 21.6 — в среднем 10% ускорения 
e Исторические данные 


[ dueries— —— ——rL—commits— —— ——T-months- 
| 1.09 billion | 7.24 thousand | 15.4 


О ОО ОНИ 
гоп disk—T—uncompressed datas 
| 6.27 GiB | 31.32 GiB | 


ПО ОО 
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WITH 0.05 AS s 


SELECT old зра, new зра, event time, message, old value AS "old server', new value AS `пем server', 
before AS ^prev 11 runs, after AS ^next 11 runs', diff AS "diff, ratio', stat threshold historical 
AS ^stat threshold, ratio, historical', stat threshold AS `stat threshold, ratio, per-run', 


cpu model,query display name 
FROM 


(SELECT *, run attributes vl.value AS cpu model, 


median(old value) OVER (PARTITION BY run attributes vl.value, test, query index, 
query display name ORDER BY event date ASC ROWS BETWEEN 11 PRECEDING AND CURRENT ROW) AS before, 


median(new value) OVER (PARTITION BY run attributes vl.value, test, query index, 
query display name ORDER BY event date ASC ROWS BETWEEN CURRENT ROW AND 11 FOLLOWING) AS after, 


quantileExact(0.95) (abs(diff)) OVER (PARTITION BY run attributes vl.value, test, query index, 


query display name ORDER BY event date ASC ROWS BETWEEN 37 PRECEDING AND CURRENT ROW) AS 
stat threshold historical 


[Es 


FROM query metrics v2 
LEFT JOIN run attributes v1 USING (old sha, new зра) 
WHERE (attribute = 'lscpu-model-name') AND (metric = 'client time') AND (pr number = 0) 
AND (test = 'logical functions medium') AND (query index = 19) 
) AS t 


ANY LEFT JOIN ^gh-data' .commits ON new зра = зра 


WHERE (((abs (after = before) / if(after > before, after, before)) AS step height) >= greatest (s, 
stat threshold historical)) 


AND (abs(diff) >= greatest(stat threshold, stat threshold historical, s)) 
AND (abs(diff) >= (0.7 * step height)) 


Ком 3: 


old sha: 1dd57645c28f03e66347abffd13266a9c6ad2750 
new sha: eeae539a9f02f00fa8f4d6ae2daf45ea8320818d 
event time: 2021-04-30 21:50:24 

message: Merge pull request #23799 from 


kitaisreal/function-default-implementation-for-nulls-small-optimization 


Function default implementation for nulls small optimization 


old server: 0.2608 

new server: 0.1985 

prev 11 runs: 0.2603999972343445 
next 11 runs: 0.19845000654459 


diff, ratio: -0.239 
stat threshold, ratio, historical: 0.074 


stat threshold, ratio, per-run: 0.212 
cpu model: Intel(R) Xeon(R) CPU Е5-2660 v4 @ 2.00GHz 
query display name: SELECT count () FROM 


test logical functions. 4 1 Nullable Mixed WHERE NOT ignore(xor(x1,x2,x3,x4)) _ 


Интересные факты 


# This is a lateral join in bash... please forgive те. 


— A. Kuzmenkov, "compare.sh" 


e Вся обработка Ha clickhouse-local 
o аобвязка — на bash 
m ина python (mymarilyn/clickhouse driver) 


o ловили новые баги: B профайлере, B джоинах, B 
нативном протоколе и т.д. 


e Почти самая тяжёлая проверка в нашем С! 
о (после сборок) 
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Все. 


Подпишитесь на наш блог 
https://clickhouse.tech/blog/en/ 


[m] za [n] 


“ЫЬ 


[я] 


Александр Кузьменков 


github.com/akuzm 
t.me/akuzm 


akuzm(Qyandex-team.ru 
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Нестабильные запросы (]етайос) 


e Soft page faults free) malloc() write to the memory 
e jemalloc two-phase 


purging 


MADV FREE 


Что поменяли: 


1) включили MADV. FREE 
2) muzzy decay ms = 10s 


MADV DONTNEED 


Нестабильные запросы (jemalloc) (2) 


600 Т T T T T T T 
SoftPageFaults ———— 
client time | ——— 
server те — —— 
500 SystemTimeMicroseconds 
400 
300 
200 
100 
0 ААЦ 
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